Gyllenhaal sinh ra tại Los Angeles, California, là con trai của nhà sản xuất phim và kịch tác gia Naomi Foner (nhũ danh Achs) và đạo diễn Stephen Gyllenhaal. Nữ diễn viên Maggie Gyllenhaal, chị gái anh, xuất hiện cùng Jake trong bộ phim Donnie Darko. Cha của Gyllenhaal mang hai dòng máu Thụy Điển và Anh, và là dòng dõi của dòng họ Gyllenhaal danh giá.[1] Mẹ của Jake xuất thân từ một gia đình Do Thái tại thành phố New York và Jake cũng nói rằng anh luôn tự coi mình là một người Do Thái. Vào ngày sinh nhật thứ 13, Jake thực hiện nghi thức Bar Mitzvah nhưng không có trang phục truyền thống tại một khu nhà dành cho người vô gia cư vì cha mẹ anh muốn anh nhớ tới gốc gác của gia đình.[2][3] Họ cũng yêu cầu anh làm thêm vào mùa hè để có thể phần nào nuôi sống bản thân, do đó Jake được nhận làm những việc lặt vặt tại một nhà hàng là chỗ quen biết với gia đình.